Metric	Score
Weighted-F1	9.45
Hyphens-F1	0.00
Comma-F1	26.63
Ellipsis-F1	0.00
Fullstop-F1	0.00
QMark-F1	0.00
Colon-F1	0.00
Excl-F1	0.00

Metric	Score
Weighted-F1	9.67
Hyphens-F1	0.00
Comma-F1	26.22
Ellipsis-F1	100.00
Fullstop-F1	0.00
QMark-F1	0.00
Colon-F1	0.00
Excl-F1	0.00

Metric	Score
Weighted-F1	9.90
Hyphens-F1	0.00
Comma-F1	27.14
Ellipsis-F1	100.00
Fullstop-F1	0.00
QMark-F1	0.00
Colon-F1	0.00
Excl-F1	0.00

Metric	Score
Weighted-F1	14.75
Hyphens-F1	0.00
Comma-F1	36.53
Ellipsis-F1	100.00
Fullstop-F1	0.00
QMark-F1	0.00
Colon-F1	0.00
Excl-F1	0.00

worst items

note: the gold standard is taken from the submission itself, not from the challenge data!

#	input	expected output	actual output	test-D Comma-F1
1	wikitalks005743 boże widzisz takie hasło i nie grzmisz gdzie moderator taki tekst nie powinien się gdziekolwiek ukazywać jest straszny pod k…	O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O B-CO…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
2	wikinews225483 w domu kultury 502 w łodzi ul a sacharowa 16 na widzewie wschodzie od 23 października 1990 r działa widzewska galeria ekslibr…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
3	wikinews182510 około godziny 11 00 w okolicy skrzyżowania ulic lisowskiej i żeromskiego w warszawie podczas prac remontowych doszło do uszko…	O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O …	O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
4	wikinews232282 nasa ogłosiła konkurs " scientist for a day " skierowany do uczniów wszystkich typów szkół na całym świecie zadaniem konkurso…	O O O O O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O B-COMMA B-COMMA O O O O O O O B-COMMA O O B-COMMA O O O O O O O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
5	wikinews180419 w poniedziałek w kolonii w meczu 1 8 finału szwajcaria została wyeliminowana z turnieju przez ukrainę w konkursie rzutów karn…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
6	wikinews188420 w dniach 9 12 lipca w bielawie w województwie dolnośląskim odbył się po raz jedenasty zlot miłośników literatury j r r tolkie…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O …	0.00
7	wikitalks0016538 polactwo zbiorem felietonów klisu właśnie toż to traktat polityczny sugeruję korektę mendel poprawiłem a j raz nie zerwał o…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
8	wikinews226727 zarząd dróg i transportu w łodzi przedstawił harmonogram prac przy przebudowie trasy w z inwestycji obejmującej nie tylko wbu…	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
9	wikinews186513 " poczuj się jak gwiazda " pod tym hasłem będzie przebiegał kolejny już dzień otwarty telewizji polskiej podczas spotkania z …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
10	wikinews239126 o godzinie 12 06 04 czasu polskiego chiny wystrzeliły sondę księżycową chang'e 1 jest to pierwszy chiński statek kosmiczny wy…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
11	wikitalks0017075 ani słowa o zachowaniach agresywnych kiedy poziom nikotyny spada a potrafią one być skrajne znam również sytuacje kiedy już…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-CO…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
12	wikinews231413 między 15 a 18 lipca 2007 roku lech kaczyński wraz z małżonką odbył podróż do stanów zjednoczonych w pierwszym dniu wizyty ma…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O …	0.00
13	wikitalks0016311 " armia pakistańska wymordowała w delcie gangesu ok 1 1 5 miliona cywilów i dopuściła się bezprecedensowo straszliwej liczb…	O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
14	wikinews232784 apelem o jak najszybsze sfinalizowanie rokowań prowadzonych w ramach negocjacyjnej rundy dauha zakończył się szczyt 21 państw…	O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
15	wikinews181800 na podlasiu rozpoczęły się przedterminowe wybory do sejmiku województwa razem z nimi odbywa się referendum w sprawie przebieg…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
16	wikitalks003512 dlaczego data wejścia w życie konstytucji rózni się od tej podanej na stronie angielskiej wersji wikipedi xmikolajx poprawka…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O B-COMMA O O O B-COMMA O O O O O O O B-CO…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-…	0.00
17	wikitalks0016207 zbrojnik niebieski to ancistrus multispinis " bristlenose catfish " a ancistrus dolichopterus to l183 " starlight bristleno…	O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O B-COMMA O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
18	wikinews228845 lech kaczyński i donald tusk uzyskaliby 24 % natomiast włodzimierz cimoszewicz 19 % głosów jeżeli wybory odbyły się w pierwsz…	O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
19	wikitalks002735 artykuł miesza tezy naukowe z tezami wyssanymi z palca oraz ew fiolozofii i religii nie mówiać przy tym która jest która nie…	O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA B-COMMA O O O O O O O O O O O O O B-…	O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
20	wikinews230002 dziś na biatlonowych trasach w cesana san sicarlo odbyły się męski oraz żeński bieg pościgowy wcześniej bo o 12 30 wystartowa…	O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O …	O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
21	wikinews239133 nasa ogłosiła w poniedziałek swoje plany dotyczące powrotu ludzi na księżyc głównym założeniem jest wysłanie czteroosobowej z…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
22	wikitalks0016312 od kiedy death metal i black metal to odmiana heavy metalu od zgoła 20 lat 1 motorhead judas priest venom death death metal…	O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O …	0.00
23	wikinews179014 w gdańsku zgodnie już z coroczną czerwcową tradycją odbył się wielki przejazd rowerowy ulicami miasta początek przejazdu ma m…	O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
24	wikinews189958 w minionym tygodniu rozpoczęła się w chinach budowa bloku elektrowni jądrowej ningde 4 na dwóch innych placach budowy reaktor…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
25	wikitalks004346 w odniesieniu do ich surowego życia może coś przeoczyłem ale nie widzę 'fantazyjności' nie szukając daleko finezyjne jak to …	O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
26	wikinews229677 brytyjska policja aresztowała mężczyznę podejrzanego o dokonanie mordu na 5 prostytutkach na terenie miasta ipswich we wschod…	O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O B-COMMA O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
27	wikinews199816 hiszpan rafael nadal lider rankingu tenisistów pokonał niemca björna phaua 7 6 6 3 7 6 i awansował do drugiej rundy wielkoszl…	O O B-COMMA O O B-COMMA O O O O O B-COMMA O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O …	5.48
28	wikinews188756 polskie siatkarki pokonały niemki 3 0 w małym finale mistrzostw europy 2009 i sięgnęły po brązowe medale niedoświadczonym prz…	O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	6.67
29	wikitalks001598 co za bzdura z tym że saiyanom nie rosły włosy może na głowie ale nie dotyczy to zarostu połowa saiyan miała zarost chyba ni…	O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O …	O O O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	8.00
30	wikinews195555 w dniach 11 18 lipca 2010 w zagrodzie kurpiowskiej w kadzidle będzie miała miejsce letnia szkoła muzyki ludowej na kurpiach p…	O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	9.09
31	wikitalks005217 zgłoszenie zostało przeniesione z wikipedia zgłoś błąd w artykule ponieważ prawdopodobnie nie zostało rozwiązane w ciągu 45 …	O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	9.52
32	wikinews196203 w dniach 4 8 lipca 2012 r w sercu parku krajobrazowego lasy janowskie odbędzie się festiwal muzyki tradycyjnej " na rozstajny…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	10.00
33	wikinews188806 tygodnik gala już po raz siódmy ogłosił konkurs na najpiękniejszych polaków tych których podziwia się za mądrość osiągnięcia …	O O O O O O O O O O O B-COMMA O O O O B-COMMA B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	10.00
34	wikitalks0016801 o co chodzi z tym " tramwaje w polsce " to może od razu ramka z " przejściami granicznymi w polsce " albo " puby w polsce "…	O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	10.53
35	wikinews221028 27 grudnia izrael w odpowiedzi na jednostronne wypowiedzenie przez hamas zawieszenia broni oraz ostrzał terytorium izraela ro…	O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O B-COMMA O O O O O O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	11.76
36	wikinews189795 przeciętnie grająca sparta praga pokonała lecha poznań 1 0 w pierwszym meczu iii rundy ligi mistrzów rewanż 4 sierpnia w pozn…	O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	11.76
37	wikinews230432 medialny magnat rupert murdoch dyrektor zarządzający i większościowy udziałowiec spółki news corporation przyznał że brytyjsk…	O B-COMMA O B-COMMA O O O O O O O B-COMMA B-COMMA O O B-COMMA O B-COMMA O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O O O O O O …	O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	11.76
38	wikitalks0012102 druga z pomorskich linii tym razem bardzo lokalna łącząca stolice dwóch powiatów problem jest z historią linii gdyż w zasad…	O O O B-COMMA O O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	11.76
39	wikinews212363 pół roku po wdrożeniu obszernego programu cenzury sieci chiny w końcu dobrały się do google i jego gmaila od piątku chińscy i…	O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	12.50
40	wikinews186460 dzisiaj na terenie gruzji została aresztowana ekipa tvp dziennikarz dariusz bohatkiewicz operator marcin wesołowski oraz lewa…	O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	13.33